NemotronLabs VoiceChat: An Open Full-duplex Speech-to-Speech Model with Tool Calling Capabilities
NemotronLabs VoiceChat：开放全双工语音到语音模型，原生支持工具调用
🧭 全双工语音 Agent 与工具调用
NVIDIA
开源全双工语音模型，统一流式架构实现听、转写、推理、工具调用与说话，打断恢复与工具选择表现强
📌 工作参考价值（4 点）
- 全双工交互可迁移到语音购物助手/智能客服：用户说话时持续监听，支持打断、backchannel 和自然话轮切换，减少 VAD 等待造成的延迟和误判，提升实时推荐场景的对话体验。
- 并行输出 agent text 与结构化 function call 的架构值得借鉴：在对话推荐系统中同时生成自然语言回复和调用商品搜索/推荐 API 的指令，避免串行等待，缩短端到端延迟。
- 辅助 RNN-T 增量转写分支可用于实时 query 感知：在用户说话过程中即提取关键词（商品、价格、属性），触发增量式 query 改写或推荐候选刷新，抢在用户结束前预计算。
- 工具调用能力已有较好基础（工具选择 F1 82.5%），但参数准确性和端到端执行仍需提升；业务上可先用于简单、结构清晰的工具（如查订单、加购物车），复杂参数场景建议人工兜底或后验证。